Ban Bí thư được thành lập lần đầu sau Hội nghị Trung ương lần thứ năm (3/1938) gồm Nguyễn Văn Cừ, Hà Huy Tập, Lê Hồng Phong nhưng chỉ tồn tại một thời gian. Ban Bí thư bắt đầu được thành lập lại từ nhiệm kỳ Trung ương sau Đại hội đại biểu toàn quốc lần thứ II (năm 1951) của Đảng Cộng sản Việt Nam và duy trì trong các nhiệm kỳ tiếp theo. Riêng nhiệm kỳ Đại hội đại biểu toàn quốc lần thứ VIII không thành lập Ban Bí thư mà thành lập Thường vụ Bộ Chính trị. Nhiệm kỳ của Ban Bí thư tương ứng với nhiệm kỳ của Ban Chấp hành Trung ương do các Đại hội đại biểu toàn quốc bầu ra.